package cn.doitedu.day01

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * 演示如何创建RDD
 * 可以传入本地文件系统的路径，也可以传入hdfs文件系统了路径
 */
object T03_TextFileDemo {

  def main(args: Array[String]): Unit = {

    //1.创建SparkConf
    val conf = new SparkConf().setAppName("WordCount")
      .setMaster("local[4]") //如果提交到集群中运行，setMaster必须注释掉

    //2.创建SparkContext
    val sc = new SparkContext(conf)

    //创建RDD
    //val lines: RDD[String] = sc.textFile("file:///Users/star/Documents/dev/doit45/spark-in-action/data")
    val lines: RDD[String] = sc.textFile("hdfs://node-1.51doit.cn:8020/data/wc")

    //触发Action，得到结果
    lines.saveAsTextFile("out/out-03")


  }

}
